Mikoyan sinh ra từ cha mẹ Armenia ở làng Sanahin, sau đó là một phần của Yelizavetpol Governor của Đế quốc Nga (hiện là một phần của Alaverdi trong Armenia Tỉnh Lori) năm 1895. Cha ông, Hovhannes, làm thợ mộc và mẹ ông là thợ dệt thảm. Ông có một em trai, Artem Mikoyan, người sẽ tiếp tục trở thành người đồng sáng lập văn phòng thiết kế hàng không MiG, trở thành một trong những phòng thiết kế chính của máy bay phản lực nhanh trong ngành hàng không quân sự Liên Xô.[1]

Mikoyan đã học ở trường Nersisia trong Tiflis và Chủng viện Gevorgian trong Vagharshapat (Echmiadzin), cả hai đều liên kết với Nhà thờ Tông đồ Armenia.[2] Tuy nhiên, tôn giáo đã đóng một vai trò không đáng kể trong cuộc sống của ông. Sau đó, ông nhận xét rằng việc tiếp tục nghiên cứu về thần học đã đưa ông đến gần hơn với thuyết vô thần: "Tôi có một cảm giác rất rõ ràng rằng tôi đã không tin vào Chúa và thực tế tôi đã nhận được một chứng chỉ về sự không chắc chắn của vật chất; Tôi học các môn tôn giáo, tôi càng ít tin vào Chúa. " Trước khi trở nên tích cực trong chính trị, Mikoyan đã say mê nghiên cứu về chủ nghĩa tự do và chủ nghĩa xã hội.[3]

Ở tuổi hai mươi, ông thành lập một công nhân Xô Viết ở Echmiadzin. Năm 1915, Mikoyan chính thức gia nhập phe Bolshevik của Đảng Lao động Dân chủ Xã hội Nga (sau này gọi là Đảng Bolshevik) và trở thành người lãnh đạo phong trào cách mạng trong Kavkaz.[2] Sự tương tác của anh ấy với các nhà cách mạng Liên Xô đã đưa ông đến Baku, nơi ông trở thành đồng biên tập cho tờ báo tiếng Armenia Sotsyal-Demokrat và sau này cho bài báo tiếng Nga Izvestia Bakinskogo Soveta.[2] Trong thời gian này,ông được cho là đã cướp ngân hàng ở Tiflis với TNT và bị gãy mũi khi đánh nhau trên đường phố.[4]